Skip to content

chore: remove a DAG sync_graph_to_neo4j e o job neo4j_sync (pré-requisito da remoção da VM) - #216

Merged
nitaibezerra merged 1 commit into
mainfrom
chore/remove-neo4j-sync
Nov 11, 2026
Merged

nitaibezerra merged 1 commit into
mainfrom
chore/remove-neo4j-sync

Conversation

@nitaibezerra

Copy link
Copy Markdown
Contributor

Parte da Onda 1 de redução de custos do GCP (destaquesgovbr/infra#223).

Important

Este PR precisa ser mergeado antes do PR do infra que remove a VM do Neo4j. Se a VM sair primeiro, a DAG sync_graph_to_neo4j (schedule 30 */6 * * *) passa a falhar a cada 6 h.

Contexto

Nenhum serviço lê do Neo4j. O graphql-api, o gobus e o portal leem o grafo de entity_edges no Postgres. O único uso era a DAG sync_graph_to_neo4j, que copiava uma projeção do Postgres (entity_registry + entity_edges) para o Neo4j via Bolt, 30 min depois de cada project_entity_graph.

Mudança

Arquivos removidos:

  • src/data_platform/dags/sync_graph_to_neo4j.py
  • src/data_platform/jobs/graph/neo4j_sync.py
  • tests/unit/dags/test_sync_graph_to_neo4j.py
  • tests/unit/jobs/graph/test_neo4j_sync.py

Limpeza:

  • .secrets.baseline: tirei a entrada de test_neo4j_sync.py, um falso positivo da senha fake do teste.
  • As docstrings de dags/canonicalize_backfill.py, tests/unit/dags/test_ner_backfill.py e tests/unit/dags/test_canonicalize_backfill.py citavam a DAG ou o teste apagados como "padrão de referência". Ajustei o texto; o código não mudou.

Não havia outras referências a limpar. O jobs/graph/__init__.py é vazio. O neo4j não está no pyproject.toml nem no poetry.lock: o driver só existe no Composer. Também não há menção à DAG no CLAUDE.md, em docs/ nem nos conftests.

Ficam intactos, como pedido: dags/project_entity_graph.py e jobs/graph/edges.py. Eles escrevem entity_edges, news_entities, entity_stats e entity_graph_meta no Postgres, que a API lê. Os planos em _plan/ também ficam, porque são histórico.

Deploy

  • O merge em main dispara o composer-deploy-dags.yaml (mudanças em src/data_platform/dags/** e src/data_platform/jobs/**). O gsutil rsync -r -d do workflow reutilizável tira sync_graph_to_neo4j.py da pasta de DAGs do bucket do Composer. O rsync -r -d dos plugins tira jobs/graph/neo4j_sync.py.
  • O registro da DAG continua no banco do Airflow, marcado como inativo (arquivo ausente), com o histórico de execuções. Não precisa de airflow dags delete.

Fica para o PR do infra

Referências ao Neo4j fora deste repo, que o PR da VM deve remover:

  • infra/terraform/composer.tf: o pacote PyPI neo4j >=5.0 do Composer e a env var NEO4J_BOLT_URL_SECRET.
  • infra/terraform/composer_secrets.tf: o secret airflow-variables-neo4j_bolt_url, que vira a Airflow Variable neo4j_bolt_url.
  • infra/terraform/neo4j.tf: a VM.

Testes

poetry run pytest tests/unit/ --cov=data_platform --cov-report=term-missing --cov-fail-under=70 (mesmo comando do tests.yaml): 1331 passed, 5 skipped, cobertura 82,81%. O pre-commit (ruff, ruff-format e detect-secrets) passou nos arquivos alterados.

🤖 Generated with Claude Code

Nenhum serviço lê do Neo4j: graphql-api, gobus e portal leem o grafo de
entity_edges no Postgres. O único uso era esta DAG, que projetava o Postgres
no Neo4j a cada 6 h. A VM do Neo4j vai ser removida no infra.

- Remove dags/sync_graph_to_neo4j.py, jobs/graph/neo4j_sync.py e os testes.
- Remove a entrada do teste apagado no .secrets.baseline.
- Ajusta docstrings que citavam a DAG/teste como padrão de referência.

project_entity_graph.py e jobs/graph/edges.py ficam como estão (escrevem
entity_edges, news_entities, entity_stats e entity_graph_meta, lidos pela API).

Parte da Onda 1 de redução de custos do GCP (destaquesgovbr/infra#223).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@nitaibezerra
nitaibezerra merged commit 1a174b7 into main Nov 11, 2026
2 checks passed
@nitaibezerra
nitaibezerra deleted the chore/remove-neo4j-sync branch November 11, 2026 21:38
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant